Learning to Steer LLM Agents and Multi-Agent Systems
学会引导 LLM 智能体与多智能体系统
🧭 Agent 外部监督与强化学习 ★ 深度解读
National University of Singapore · University of Science and Technology of China · Qwen Business Unit of Alibaba
提出外部 steering agent，用 fast/slow 双路径和 RL 联合训练，在长程执行中实时纠正 goal drift，提升单智能体和多智能体搜索任务表现
📌 工作参考价值（4 点）
- 对商品搜索/导购等多步 Agent，可增加一个外部 steering policy：fast path 只需一次单 token 判断“是否需要干预”，再触发 slow path 生成干预动作；阈值可在部署时调节干预频率，无需重新训练，直接控制成本与效果。
- 训练时冻结执行器，只训 steering agent；用 pairwise ranking 学 fast path 的状态优先级，用 GRPO 学 slow path 的干预生成，并把“不干预基线”加入 group 归一化。这套目标适合作为业务 Agent 在线监督模块的训练模板。
- 多智能体电商链路（query 规划→召回→验证→回答）可在 agent 交接点插入 steering，动作设为 note/retry，重点抑制 verifier 过度拒绝导致的重复修订，减少无效 API 轮次。
- 该 steering 能力可跨执行器迁移：用 Qwen executor 训练后可直接监督 Llama/Mistral/Phi 执行器，适合多模型后端共存的平台。